Giám mục Phạm Văn Lộc sinh ngày 17 tháng 3 năm 1919 tại phường Vĩnh Ninh, thành phố Huế, tỉnh Thừa Thiên – Huế, nguyên quán thuộc giáo xứ Kẻ Hạc, xã Hòa Trạch, huyện Bố Trạch, tỉnh Quảng Bình, thuộc Tổng giáo phận Huế. Thân phụ là ông Phạm Văn Hi, là một công chức thời Pháp và thân mẫu là bà Trương Thị Báu. Phạm Văn Lộc còn có ba người em trai, tất cả năm người đều đã qua đời.[5]

Lên 6 tuổi, gia đình cho cậu bé Lộc theo học tiểu học tại trường Lasan Bình Linh, Huế. Tiếp tục con đường học tập, từ năm 1933, cậu học trung học tại Thiên Hựu, Huế. Trong hai năm 1940 và 1941, Phạm Văn Lộc đậu tú tài phần hai tại trường Khải Định, Huế.[5]

Trong khoảng thời gian ngắn từ 1943 đến năm 1944, Phạm Văn Lộc đảm trách vai trò giáo sư Chủng viện Thừa sai Kon Tum. Kể từ năm 1944, Phạm Văn Lộc bắt đầu theo học Đại chủng viện Quy Nhơn. Do hoàn cảnh chiến tranh, một năm sau cậu vào học tại Đại chủng viện Thừa sai Kon Tum, đến năm 1946 thì vào học ở Đại chủng viện Huế.[5]